- 综合排序
- 最热优先
- 最新优先
- 来自专栏用户2276240的专栏（2）
Apache Flink快速入门-如何在Kubernetes 上部署 Flink
Flink集群搭建 Kubernetes（k8s）由Google创建，现已成为最受欢迎的开源编排系统，用于管理多个主机容器化应用，提供了为分布式系统构建和部署可伸缩且可靠的应用程序所需的机制。 这些类型的系统必须具有某些特性，必须在某些意外发生的时候，工作负载可以在简单维护或部署的情况下进行扩展，停机时间必须为零。 Flink在k8s上支持的集群模式 可以使用会话集群或作业集群两种模式将Apache Flink部署在Kubernetes上。 会话集群是一个运行中的独立集群，可以运行多个作业，Kubernetes的视角来看，会话集群由三个组件组成： 指定JobManager的部署对象 指定TaskManager的部署对象 以及公开JobManager 关于Flink 集群模式请参阅 Apache Flin快速入门-部署前要了解内容 Yaml 配置 在Kubernetes上构建Flink Session Cluster，需要将Flink集群中的组件对应的
1K00编辑于 2025-04-05 - 来自专栏轩辕镜像
Apache Flink Docker 容器化部署指南
通过Docker方式部署Flink，可实现环境一致性、快速部署与简化运维，非常适合开发测试、POC以及中小规模生产场景。 本文将详细介绍如何使用Docker容器化部署ApacheFlinkSession集群，内容涵盖环境准备、镜像拉取、集群部署、功能验证、生产环境建议及常见故障排查，帮助你快速搭建一套稳定、可用的Flink 概述Docker部署Flink的典型优势包括：环境一致，避免「本地能跑、服务器跑不了」快速启动与销毁，适合弹性扩缩容便于结合私有镜像仓库与加速服务运维成本低，适合开发与测试场景⚠️说明：Docker方式更适合开发测试 环境准备Docker环境安装在部署Flink容器前，请确保服务器已安装Docker。 官网：https://flink.apache.org总结本文介绍了基于Docker的ApacheFlinkSession集群部署方案，涵盖从环境准备到生产实践的完整流程。
51210编辑于 2025-12-30 - 来自专栏大数据技术与应用实战
flink实战教程-集群的部署
这种部署模式对flink集群的资源管理是flink自己维护的，在生产环境下用的不多，所以我们也不做过多描述. yarn yarn session 部署在yarn集群上的flink集群都是把资源的管理交给了 yarn session的部署模式就是先预先在yarn集群上启动一个flink集群，我们可以把我们写好的flink任务直接提到这个集群上。 }, 然后再构建flink集群的时候，再去找个目录去获取，程序部署成功之后，删除相应的临时目录 application模式 这种模式是在flink 1.11 版本中提供的，flink的yarn per 对于k8s部署flink这块说实话我研究的不是很深，也就不多说了。 其他 我们还可以将程序部署到mesos或者使用docker，这个我没有去实际调研过，但是从flink的邮件列表大家沟通的问题或者是网上查到的资料看，这种模式部署应该不多，所以这里就不详细描述了。
1.1K20发布于 2020-09-15 Apache Flink with Java 简介-Java快速进阶教程
概述 Apache Flink是一个大数据处理框架，允许程序员以非常高效和可扩展的方式处理大量数据。 Maven 依赖 首先，我们需要将 Maven 依赖项添加到 flink-java 和flink-test-utils库中： <dependency> <groupId>org.apache.flink Apache Flink API 支持两种操作模式——批处理和实时。 创建数据流 Apache Flink 还支持通过其 DataStream API 处理事件流。 结论 在本文中，我们介绍了 Apache Flink 框架，并查看了其 API 提供的一些转换。 我们使用 Flink 流畅且实用的 DataSet API 实现了一个字数统计程序。
33700编辑于 2025-04-05- 来自专栏小晨讲Flink
Apache Flink 进阶教程（二）：Time 深度解析
Flink 时间语义 在不同的应用场景中时间语义是各不相同的，Flink 作为一个先进的分布式流处理引擎，它本身支持不同的时间语义。 Timestamp 分配和 Watermark 生成 Flink 支持两种 watermark 生成方式。 所有的这些和时间相关的逻辑在 Flink 内部都是由自己的 Time Service（时间服务）完成的。 Watermark 处理 ? 第三步 Flink 得到一个时间之后就会遍历计时器的队列，然后逐一触发用户的回调逻辑。 当然因为 Flink 中内部提供了一些状态机制，我们可以在一定程度上去弱化这个特性，但是最终还是不能超越的限制状态不能太大。
1.1K20发布于 2019-09-19 Apache Flink快速入门-部署前要了解内容
应用程序级数据源和接收器 虽然应用级数据源和接收器在技术上不是 Flink 集群组件部署的一部分，但在规划新的 Flink 生产部署时应该考虑它们。 使用 Flink 托管常用数据可以带来显着的性能优势 例如： Apache Kafka Amazon S3 ElasticSearch Apache Cassandra 请参阅连接器页面。 应用程序级数据源和接收器 虽然应用级数据源和接收器在技术上不是 Flink 集群组件部署的一部分，但在规划新的 Flink 生产部署时应该考虑它们。 使用 Flink 托管常用数据可以带来显着的性能优势 例如： Apache Kafka Amazon S3 ElasticSearch Apache Cassandra 请参阅连接器页面。 部署 Flink 是一个多功能框架，以混搭方式支持许多不同的部署场景。 下面，我们简要解释 Flink 集群的构建块、它们的用途和可用的实现。
52610编辑于 2025-04-05Apache Flink快速入门-什么是Apache Flink
Apache Flink简介 Apache Flink一款处理数据流的流行框架及分布式处理引擎，用于对无边界和有边界数据流上进行有状态的计算。 Apache Flink 由 Data Artisans 公司创立，现在由 Apache Flink 社区在 Apache License 下开发。 Flink 通过定期和异步地将本地状态检查点到持久存储来保证在发生故障时的一次性状态一致性。 随处部署应用程序 Apache Flink 是一个分布式系统，需要计算资源才能执行应用程序。 Flink 被设计为可以很好地运行前面列出的每个资源管理器。这是通过特定于资源管理器的部署模式来实现的，该模式允许 Flink 以其惯用的方式与每个资源管理器进行交互。 在部署 Flink 应用程序时，Flink 会根据应用程序配置的并行度自动识别所需的资源，并向资源管理器请求。如果发生故障，Flink 会通过请求新资源来替换发生故障的容器。
83922编辑于 2025-04-05- 来自专栏流式数据
Apache Flink Training
Apache Flink培训 Apache Flink是用于可扩展流和批数据处理的开源平台，它提供了富有表现力的API来定义批和流数据程序，以及一个强大的可扩展的引擎来执行这些作业。 培训的目标和范围 本培训提供了对Apache Flink的观点介绍，包括足以让您开始编写可扩展的流式ETL，分析，以及事件驱动的应用程序，同时也省去了很多细节。 重点是直接介绍Flink用于管理状态和时间的API，期望已经掌握了这些基础知识，你将能够更好的从文档中获取你需要知道的其他内容。 你会学习到以下内容： 如何搭建环境用于开发Flink程序 如何实现流数据处理管道 Flink状态管理的方式和原理 如何使用事件时间来一致地计算准确分析 如何在连续的流中建立事件驱动的应用 Flink是如何以精确一次的语义提供容错和有状态的流处理
92900发布于 2019-02-23 - 来自专栏1001482的专栏
Apache Flink初探
Apache Flink的简介 Apache Flink是一个开源的针对批量数据和流数据的处理引擎，已经发展为ASF的顶级项目之一。 Flink的部署方式： 本地模式 集群模式或yarn集群 云集群部署 另外，Flink也可以方便地和Hadoop生态圈中其他项目集成，例如Flink可以读取存储在HDFS或HBase中的静态数据，以Kafka Client：提交Job的客户端，可以是运行在任何机器上（与JobManager环境连通即可） JobManager：Flink系统的协调者，负责任务的排定分配、快照协调、失败恢复控制等，有三种部署模式 Apache Flink兼容Apache Storm 考虑到业界当前主流的流式处理引擎为Apache Storm，Flink为了更好的与业界衔接，在流处理上对Storm是做了兼容，通过复用代码的方式即可实现 1、先来对比一下Apache Flink 与Apache Storm的异同： 与Apache Storm相比，Apache Flink少了一层节点管理器，TaskManager直接由主控节点管理 在流处理这一块
2.7K00发布于 2017-07-18 - 来自专栏实时计算
Flink入门（一）——Apache Flink介绍
Apache Flink是什么？ 在当代数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。 随着雅虎对hadoop的开源，越来越多的大数据处理技术开始涌入人们的视线，例如目前比较流行的大数据处理引擎Apache Spark,基本上已经取代了MapReduce成为当前大数据处理的标准。 lambada架构 大数据平台中包含批量计算的Batch Layer和实时计算的Speed Layer，通过在一套平台中将批计算和流计算整合在一起，例如使用Hadoop MapReduce进行批量数据的处理，使用Apache 后来随着Apache Spark的分布式内存处理框架的出现，提出了将数据切分成微批的处理模式进行流式数据处理，从而能够在一套计算框架内完成批量计算和流式计算。 像Apache Spark也只能兼顾高吞吐和高性能特性，主要因为在Spark Streaming流式计算中无法做到低延迟保障；而流式计算框架Apache Storm只能支持低延迟和高性能特性，但是无法满足高吞吐的要求
1.8K10发布于 2019-11-20 - 来自专栏一个会写诗的程序员的博客
Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams
Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams 关键词 分布式流处理 分布式计算引擎 All streaming 参考: https://flink.apache.org/zh/flink-architecture.html Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个 Flink 技术特性 部署应用到任意地方 Apache Flink 是一个分布式系统，它需要计算资源来执行应用程序。 Flink 可以采用与当前资源管理器相适应的方式进行交互。 部署 Flink 应用程序时，Flink 会根据应用程序配置的并行性自动标识所需的资源，并从资源管理器请求这些资源。 Flink 生态圈 参考资料 https://flink.apache.org https://nightlies.apache.org/flink/flink-docs-release-1.7
3.9K40编辑于 2022-01-04 - 来自专栏大数据
使用Apache Flink进行批处理入门教程
进行批处理入门教程 如果你一直在关注最近有关软件开发的新闻，你可能听说过一个名为Apache Flink的新项目。 就它的新功能而言，许多人认为Apache Flink是一款有能力成为规则改变者的软件，未来甚至可以取代Apache Spark。 一旦您学会如何完成批处理，就可以认识到Apache Flink在流处理功能上的强大之处！ 如何遵循示例进行编程 如果你想自己实现一些Apache Flink应用程序，首先你需要创建一个Flink项目。 我们现在可以在Apache Flink中加载这个CSV文件并执行一些有意义的处理。 您可以在这里阅读我的其他文章，或者您可以查看我的Pluralsight课程，其中详细介绍了Apache Flink：了解Apache Flink。这是本课程的简短预览。
23.3K4133发布于 2018-05-22 Apache Flink快速入门-Flink内存优化
设置Flink 的进程内存 Apache Flink 通过严格控制其各种组件的内存使用情况，在 JVM 之上提供高效的工作负载。 配置总内存 Flink JVM 进程的总进程内存由 Flink 应用程序消耗的内存（总 Flink 内存）和 JVM 运行进程所消耗的内存组成。 配置Flink 总内存更适合独立部署 ，在这种部署中，您要声明为 Flink 本身分配了多少内存。如果您配置总进程内存，则声明应分配给 Flink JVM 进程的内存总量。 对于容器化部署，它对应于请求容器的大小。 另一种设置内存的方法是配置整个 Flink 内存所需的内部组件，这些组件特定于具体的 Flink 进程。 由于潜在的内存配置冲突，可能会导致部署失败。配置其他内存组件也需要小心，因为它可能会产生进一步的配置冲突。
58100编辑于 2025-04-05- 来自专栏Spark学习技巧
Apache Flink CEP 实战
本文根据 Apache Flink 系列直播课程整理而成，由哈啰出行大数据实时平台资深开发刘博分享。 主要的内容分为如下三个部分： 1.Flink CEP 概念以及使用场景。 2.如何使用 Flink CEP。 3.如何扩展 Flink CEP。 Flink CEP 程序开发 本节将详细介绍 Flink CEP 的程序结构以及 API。 1.Flink CEP 程序结构 主要分为两部分：定义事件模式和匹配结果处理。 2.Flink CEP 构成 ? 梳理一下整体架构，Flink CEP 是运行在 Flink Job 里的，而规则库是放在外部存储中的。
1.7K31发布于 2021-03-05 - 来自专栏DataLink数据中台
Apache Flink Studio
摘要：本文介绍了一款开源发展的 Apache Flink Studio。 ，但苦于没有一款适合 Flink SQL 界面化开发的工具，于是增加了 Flink 的门槛与成本。 二、简介 Dlink 为 Apache Flink 而生。 三、原理 四、技术栈 Apache Flink Mybatis Plus ant-design-pro Monaco Editor SpringBoot 五、目前特性 网页端的 FlinkSQL Studio 部署简单，只依赖 Mysql 作为数据库，一键启停。 功能强大，支持官方所有 FlinkSQL 语句及增强语法。 免 Jar 提交，无打包过程，任务管理，解决大量任务带来的苦恼。
1.4K40编辑于 2021-12-27 - 来自专栏Apache IoTDB
Apache IoTDB 系列教程-3：部署运维
今天介绍 IoTDB 的部署运维相关知识，帮助大家玩转 IoTDB！ 正文 1859 字，预计阅读时间 5 分钟。 开箱即用 IoTDB 的理念就是系统运维要简单，要一键启动、开箱即用。 就从启动开始说起吧，需要安装 jdk8 或者 jdk11，下载发布版，http://iotdb.apache.org/Download/ ，解压缩后是这样的目录结构： 内存在 conf/iotdb-env.sh
2K30发布于 2020-09-27 - 来自专栏linux教程
Apache二级目录部署reactvue教程
本文主要是记录一下在apache二级目录上面部署react和vue项目。根目录下面部署很简单，但是在二级目录下就需要在webpack的配置或者vue-cli的配置文件以及路由组件做一些简单调整。 由于mac系统自己带了apache，所以我们只需要开启就可以了。 配置apache 在终端中输入sudo apachectl start，然后在浏览器中输入"http://localhost"，如果出现"It works!"则说明apache启动成功。 AllowOverride All Order allow,deny Allow from all Require all granted 需要清楚的是DocumentRootxxx和均指向你的网站部署所在目录 注意: 怎么把vue项目部署在二级目录，官网文档是有说明的。
1.5K20编辑于 2023-04-25 - 来自专栏学习猿地
学习猿地 python教程 django教程8 Django部署(Apache)
# Django部署\(Apache\) > 在前面的章节中我们使用**python3 manage.py runserver**来运行服务器。这只适用测试环境中使用。 > > 正式发布的服务，我们需要一个可以稳定而持续的服务器，比如Apache, Nginx, IIS等，本文将以 Apache为例。 > > 使用[Apache](https://httpd.apache.org/)和[mod\_wsgi](http://www.modwsgi.org/)部署Django 是一种久经考验的将Django Apache2安装 sudo apt-get install apache2 查看版本 apachectl -v Server version: Apache/2.4.18 (Ubuntu) Server /usr/lib/apache2/modules 目录 cd /usr/lib/apache2/modules 查看是否存在mod_wsgi.so-3.5 ``` #### 5,配置使apache2加载
83810发布于 2020-03-25 - 来自专栏学习猿地
学习猿地 python教程 django教程8 Django部署(Apache)
# Django部署\(Apache\) > 在前面的章节中我们使用**python3 manage.py runserver**来运行服务器。这只适用测试环境中使用。 > > 正式发布的服务，我们需要一个可以稳定而持续的服务器，比如Apache, Nginx, IIS等，本文将以 Apache为例。 > > 使用[Apache](https://httpd.apache.org/)和[mod\_wsgi](http://www.modwsgi.org/)部署Django 是一种久经考验的将Django Apache2安装 sudo apt-get install apache2 查看版本 apachectl -v Server version: Apache/2.4.18 (Ubuntu) Server /usr/lib/apache2/modules 目录 cd /usr/lib/apache2/modules 查看是否存在mod_wsgi.so-3.5 ``` #### 5,配置使apache2加载
1.1K30发布于 2020-03-24 - 来自专栏Lansonli技术博客
大数据Flink进阶（十七）：Apache Flink术语
Apache Flink术语 Flink计算框架可以处理批数据也可以处理流式数据，Flink将批处理看成是流处理的一个特例，认为数据原本产生就是实时的数据流，这种数据叫做无界流（unbounded stream 一、Application与Job 无论处理批数据还是处理流数据我们都可以使用Flink提供好的Operator（算子）来转换处理数据，一个完整的Flink程序代码叫做一个Flink Application 一个Flink Application中可以有多个Flink Job，每次调用execute()或者executeAsyc()方法可以触发一个Flink Job ,一个Flink Application 如果是基于WebUI提交任务，我们也可以基于WebUI指定并行度： System Level(系统层面) 我们也可以直接在提交Flink任务的节点配置$FLINK_HOME/conf/flink-conf.yaml 我们在集群中提交Flink任务后，可以通过Flink WebUI中查看到形成的算子链： 那么在Flink中哪些算子操作可以合并在一起形成算子链进行优化？
1.1K81编辑于 2023-04-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号